Sau khi tốt nghiệp, Inoue Joe bắt đầu ghi lại những sáng tác của mình vào một bản thu âm nhiều ca khúc (năm 2003). Mọi công đoạn thực hiện bản thu này từ thể hiện ca khúc, chơi nhạc cụ, thiết kế đĩa... đều do một tay anh thực hiện.

Năm 2005, Joe gửi bản thu âm thử của mình về quê hương Nhật Bản và được hãng Ki/oon Records ký hợp đồng[1].

Đĩa e.p. IN A WAY bao gồm 5 ca khúc phát hành vào 19 tháng 9 năm 2007 trở thành CD ra mắt của Inoue Joe, theo sau đó là đĩa đơn đầu tay HELLO! (16 tháng 7 năm 2008).

Bài hát "CLOSER" nằm trong đĩa đơn thứ hai của anh được chọn làm ca khúc mở đầu thứ tư cho loạt anime Naruto: Shippūden, từ tập 78 đến tập 102[2].

Ngày 8 tháng 4 2009, Inoue Joe ra mắt album đầy đủ đầu tiên mang tên ME!ME!ME!.

Ngày 22 tháng 7 đánh dấu một mốc mới trong sự nghiệp âm nhạc của Inoue Joe. SHOWCASE#1 được tổ chức tại Tokyo, Joe biểu diễn 6 ca khúc đã ra mắt. Cũng trong dịp này, các sản phẩm ăn theo lần đầu được bán ra.

Với việc hát chính cho "OK Sampler (WhatAaaa ReChamploo)", ca khúc thứ 6 trong album pleasure của RYUKYUDISKO[3], Joe khởi động những dự án hợp tác với nhiều nghệ sĩ Nhật Bản khác thuộc cùng công ty quản lý (TOTALFAT, TETSUYA). Anh đảm nhận nhiều vai trò khác nhau trong những sản phẩm này: hát chính, rap đệm, sáng tác lời...

Năm 2010, ca khúc "Kaze no Gotoku" (風のごとく; Like the wind) trong đĩa đơn thứ 5 ra mắt vào ngày 4 tháng 8 được chọn làm bài hát mở đầu thứ hai trong loạt anime Yorinuki Gin Tama-san.

Ngày 27 tháng 2 2011, hai ca khúc sử dụng làm nhạc nền trong các anime nổi tiếng được Inoue Joe biểu diễn tại sân khấu NHK Fureai, cùng xuất hiện với ban nhạc visual-kei girugamesh. Đây là buổi ghi hình nằm trong chương trình J-MELO của kênh truyền hình quốc tế Nhật Bản NHK World. Đến ngày 7 tháng 3, chương trình phát sóng trên toàn thế giới[4].